#Parameter Sharing

3 篇

MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

MoE²-LoRA：为MoE模型设计的MoE风格低秩适配

🧭 MoE模型参数高效微调

Shanghai Artificial Intelligence Laboratory · KTH Royal Institute of Technology · University of Science and Technology of China · Fudan University · The Chinese University of Hong Kong

首次用MoE路由思想做LoRA微调，复用预训练路由器激活动态选择全局共享的LoRA专家

📌 工作参考价值（4 点）

若内部用MoE架构LLM做推荐/对话任务（如query改写、商品描述生成），MoE²-LoRA提供了一种高效微调方案：引入全局共享LoRA专家池，既减少参数量又保持多任务适配能力。
路由条件投影（RCP）复用预训练路由器激活，可借鉴到多兴趣推荐模型中，用已有用户意图路由为不同兴趣头动态选择低秩适配器，避免静态分配。
全局专家池的层间共享机制简化了部署：只需维护一套适配器权重，节省存储和推理时IO；适合边缘设备或需要频繁更新的推荐模型。
实验显示该方法在多种MoE骨干上稳健提升，说明即使推荐系统的底层LLM结构变化，该方法也能迁移复用，减少适配成本。

Training | 2026-07-24 | cs.CL | score 6/10

VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression

利用大语言模型作为内在编码器进行视觉令牌压缩

🧭 视觉令牌压缩 · VLM推理效率

Anhui Province Key Laboratory of Digital Security, University of Science and Technology of China

提出 VisCo，把预训练 VLM 重用为内在视觉令牌压缩器，用参数共享自编码器和记忆令牌实现高压缩比下的领先性能。

📌 工作参考价值（4 点）

在电商多模态商品理解中，可复用已部署的 VLM 作为视觉特征压缩器，避免引入外部模块和重训练成本，直接降低推理延迟。
记忆令牌（memory tokens）的压缩方式类似推荐系统中的语义 ID 压缩，可将高维视觉特征蒸馏为少量可学习令牌，适合大量商品图片的在线编码。
层级信息传递机制可用于多尺度商品视觉特征提取，在不增加额外参数的前提下保留细粒度信息，提升下游检索或推荐质量。
极端压缩（如单令牌）下性能稳定，适合对实时性要求高的推荐场景，如首页商品卡片渲染、搜索结果的首图压缩。

Multimodal | 2026-07-13 | HF Daily | score 6/10

Visual Token Compression Vision Language Models Autoencoder Parameter Sharing Memory Tokens

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

MoE 语言模型中的专家层循环绑定

🧭 MoE 参数共享与内存优化

EPFL

跨层共享专家参数，保持独立路由，几乎无损失地将 MoE 内存占用减半

📌 工作参考价值（4 点）

大型推荐模型的内存压缩：若采用 MoE 做多任务或用户分群建模，跨层共享专家 FFN 可近乎砍半参数内存，同时保持独立路由，适合搜索/推荐等需低延迟服务的场景。
Agent 模型的低成本扩展：构建多专家 Agent 系统时，可通过层间专家复用减少冗余，维持不同层路由独立以保留推理多样性，平衡能力与资源。
工程实现注意：复用需保证每层 router 和 attention 独立；可直接应用于 OLMoE/Qwen3/DeepSeek 等主流 MoE 结构，现有模型微调或蒸馏时可尝试专家合并。
与 LoRA/量化结合：专家共享后为稀疏模块再留出容量加 LoRA 或小块微调，可在内存受限设备上部署更大型的生成式推荐模型。

Training | 2026-06-15 | cs.CL | score 7/10

Mixture-of-Experts Expert Tying Parameter Sharing Efficient Training LLM Scaling